FDE-Gym: The Last Mile of AI Delivery
FDE-Gym：AI交付最后一公里的评估基准
🧭 Agent 交付能力评估基准 ★ 深度解读
DeepLethe · Tsinghua University · Shanghai Jiao Tong University · Beijing University of Posts and Telecommunications
构建95个真实客户交付任务基准，评估智能体在模糊需求下提升客户业务指标的能力
📌 工作参考价值（4 点）
- 将业务KPI作为Agent评价的最终尺度，而非任务完成率：电商客服/推荐Agent可借鉴，用转化率、GMV、用户时长等业务指标直接衡量交付效果，避免只优化中间指标。
- 显式对利益相关者交互计费（stakeholder contact cost），鼓励Agent高效提问：对话式推荐或澄清式搜索中，可加入用户打扰成本，训练Agent平衡信息获取与用户体验，减少冗余询问。
- 任务指令分层（L0-L3）隔离信息缺失的影响：可用于评估推荐系统在用户查询模糊或需求误导时的表现，定位是约束发现、问题定义还是实现能力的瓶颈。
- 警惕“字面合规”陷阱：直接按用户请求实现可能无法提升业务指标，需要挖掘未明说的约束。在电商场景中，不能仅根据用户显式点击行为推荐，还要理解深层业务目标（如利润、库存、长期留存）。